Day 1，我們問：為什麼要打開黑盒子？當語言模型開始參與越來越重要的工作，只看它最後回答了什麼，已經無法滿足我們所有的疑問。我們還想知道：它依賴了哪些資訊？為什麼在這裡犯錯？當模型更新、情境改變，或面對不同使用者時，它的行為為什麼也跟著改變？

三十天後，我們雖然沒有得到一份完整的模型使用說明書，但也已經得到許多調查工具，黑盒子也不再只是一個讓我們從外面猜測的容器。我們知道可以從哪些位置觀察它、如何介入其中的計算，也開始看見一些能被描述、測試與修正的內部結構。

學會這些方法之後，我們應該怎麼看待「理解模型」這件事？這個領域接下來，又有哪些值得投入的問題？

理解，不一定要等到整個模型都被解開

「打開黑盒子」很容易讓人想像一個終點：有一天，每個 neuron、每條連接、每次回答，都能被完整解釋，但科學上的理解，不一定是全有或全無。

我們可以先理解某個模型在一類任務上使用的策略，知道它在哪些條件下成立、什麼時候會失效，以及改變哪個因素會產生什麼結果。即使還無法解釋整個模型，這也已經比只有輸入與輸出的紀錄，多了一層可以使用的知識。例如，知道某種錯誤來自特定的資訊依賴，可能幫助我們設計更好的測試；知道一項介入會同時傷害其他能力，則可能阻止我們把它過早當成修正方案。所以，「我們還沒有完整理解模型」是事實，但它不等於「我們什麼都沒有理解」。真正需要說清楚的是：理解了哪一部分？適用在哪些情境？它讓我們多做出了哪些正確預測？

沒有一種分析單位，適合回答所有問題

這個系列一路從 neurons、directions，走到 features、subspaces、manifolds 與 circuits。這不只是工具變多，也反映一個還沒有定案的問題：模型的計算，應該用什麼單位來描述？Vilas 等人在 2024 年的 position paper 中，從認知神經科學借用了一個重要觀點：機制解釋需要連結不同層次，包括系統解決什麼問題、採取什麼計算步驟、需要哪些基本表徵與操作，以及它們如何由內部元件實現。[1]

這也提醒我們，選擇 neuron、direction 或 circuit 作為分析單位，本身就是研究決定，不是模型架構已經替我們決定好的答案。拿系列中的 factual recall 來說，「模型根據實體和關係取回答案」、「模型先取得某項資訊，再把它送到輸出位置」，以及「哪些 heads 或 MLPs 參與其中」，是不同層次的描述。只列出重要的 heads，還缺少它們做了什麼；只提出一個合理的演算法，也還需要確認模型是否真的用那套方式實現。因此，我們不是要在高層次解釋和底層細節之間選邊站，而是讓兩邊互相約束：假說告訴我們該找什麼，內部實驗則幫助我們修正假說。更細，不一定更有解釋力；更抽象，也不一定更不科學。關鍵是這個描述能不能把問題、計算與實際模型連起來。

理解模型，是為了什麼？

Mechanistic Interpretability 不是理解模型的唯一視角。我們也可以從行為、訓練過程或數學理論切入，例如分析 Transformer 在哪些條件下能實現特定計算。[2] 這個系列選擇的，是一條相對 empirical 的路：把訓練好的模型當成研究對象，觀察它的內部狀態、提出假說，再透過介入實驗，檢查哪些計算真的影響了行為。

這也是 Mechanistic Interpretability 與 AI Safety 緊密相關的原因之一。我們不只想知道模型能做什麼，也希望更有根據地判斷它何時可能出錯、為什麼出錯，以及能不能偵測或改變那些造成問題的內部過程。因此，理解本身具有科學價值，但這個領域的目標不只停在理解。更重要的期待，是把這些知識轉化成更可靠的評估、監控與改善方法，幫助我們建立更安全、更值得信任，也更好用的 AI。當然，找到一個機制不會自動讓模型更安全。從理解到實際改善之間，還有需要被驗證的距離。這也正是接下來值得努力的方向。

在尋找這些改善方法時，神經科學也可能提供線索。Mechanistic Interpretability 的許多研究思路，其實和神經科學相通：透過 decoding 檢查神經活動中有哪些資訊，類似我們使用 probes 讀取模型表徵；透過電刺激等介入觀察行為如何改變，則和修改 activation 的實驗共享「不只觀察，也主動改變系統」的邏輯。而且，在能存取模型內部的情況下，我們還有研究人腦時難以取得的優勢：可以記錄完整的 activations、精確替換指定位置的內部狀態，也能反覆進行介入，不必承擔侵入性人體實驗的風險。因此，如果某個 AI 在特定功能與計算機制上，與人腦的對應獲得充分驗證，那麼研究它的內部運作，也可能反過來幫助我們提出與檢驗關於人腦的假說，光是這個可能性就令人興奮。

甚至連腦機介面（BCI），也可以不只是神經科學帶來的應用。Motiwala 等人在〈Brain–computer interfaces as a causal probe for scientific inquiry〉中，討論如何透過閉迴路回饋，讓受試者學習主動調整特定神經活動，再研究這些改變如何影響其他神經活動與行為。[8] 雖然這和 steering 不盡相同，但兩者有一個相通的思路：研究的發現可以帶來應用價值，而應用價值很多時候建立在穩定的預測和控制，而可靠、可重複的控制也能反過來幫助我們檢驗因果假說，這對 neural systems, both artificial and natural 這樣複雜、需要好好拆解 correlation 與 causation 的研究對象來說尤為重要。簡單來說可以類比：神經科學的「actionability」，很多時候就是開發 BCI 的各種 paradigm。雖然大部分非侵入式 BCI paradigm 都是屬於「穩定的預測」帶來的，例如 SSVEP 和 Motor Imagery。像 Motiwala 等人提到的，可以做 intervention，但通常是改變外部刺激、任務條件或回饋，間接引導神經活動，而不是像電刺激或 activation steering 那樣，直接介入內部狀態，可能接近試圖用設計好的 prompts 研究模型內部、行為變化，也是因果性證據的一種視角 。不過也可以預想，侵入式的 BCI 就有可能實現直接對內部「穩定的控制」進而有更多應用價值，不過可以想像這會涉及更多安全與倫理的問題。

這種交流也不只服務於理解人腦。前一天，我們主要討論如何比較模型與人腦；Mineault 等人在《NeuroAI for AI Safety》這份 roadmap 中，則進一步提出：神經科學除了能啟發更有能力的 AI，也可能幫助我們建立更安全的 AI。[7] 例如，借用研究神經迴路與群體表徵的方法，改善模型的分析與介入；或從生物系統應付陌生情境、理解他人意圖與合作的方式中，尋找值得在 AI 上測試的設計原則。

這不是假設「越像人腦就越安全」，也不是要把人類的所有特性照搬進模型。要問的是：哪些生物智慧中的機制，能針對某個具體的安全問題提供幫助？其中，借用神經科學的方法來理解與介入模型，是 NeuroAI 和 Mechanistic Interpretability 的交會點；從生物智慧中尋找更安全的學習方式與架構，則把這個方向延伸到模型本身的設計。

接下來，不只是把圖畫大

目前的 interpretability 已經能產生很豐富的結果。但下一步不應該只是找到更多 features，或畫出更大的 graph。有幾個問題，會直接影響這些成果能走多遠。[3]

從個案走向能重複出現的規律

解釋一個 prompt 很有價值，但我們也想知道：換個說法、換個任務、換個模型版本後，哪些部分仍然成立？這裡需要的不只是更多成功案例，也需要整理失效的條件。只有知道一個機制的適用範圍，個案研究才有機會累積成比較一般的知識。

從單次回答，走向跨時間的行為

當模型成為 agent，它的行為可能橫跨多次生成、工具呼叫、環境回饋與記憶更新。某一刻的 activation，不一定足以解釋整段過程。我們需要追蹤的，可能是資訊如何被保存、目標如何被更新，以及前面的判斷如何限制後面的行動。這也可能要求我們重新選擇分析單位，而不只是把單次 forward pass 的方法重複使用很多次。

從可讀的解釋，走向可靠的用途

一段 activation description 很容易閱讀，不代表它能可靠地診斷問題；一條 direction 能改變行為，也不代表它適合直接部署。如果目標是 monitoring，就要測試新情境下的漏報與誤報；如果目標是 model editing，就要檢查修改後的副作用；如果目標是理解訓練造成的改變，就要確認方法能區分真正重要的差異。這些不是研究完成後才補上的細節。它們決定了方法究竟解決了什麼問題。

Pragmatic Interpretability：把價值變成可以測試的東西

這也是 Pragmatic Interpretability 值得注意的原因。Neel Nanda 與 Google DeepMind 的 Mechanistic Interpretability 團隊主張：我們不需要先取得近乎完整的模型理解，才可能產生實際影響；但需要找到能提供實驗回饋的問題，確認研究是否真的朝目標前進。[4] 例如，不只是說「這個工具可能有助於 AI safety」，而是問：

它能不能幫助我們發現原本漏掉的危險行為？
能不能更早偵測問題？
能不能讓一次模型更新的風險更容易被辨認？

這不代表所有研究都必須立刻有產品用途。探索未知的表徵、研究簡化模型、建立理論，本來就有科學價值。但如果主張某個方法能改善 auditing 或 debugging，就應該針對這項用途取得證據，而不是只展示一個令人印象深刻的例子。

這也是該團隊研究方向的一次轉變：從較接近「完整 reverse-engineer 一個模型」的長期願景，轉向更直接地處理 AI Safety 中迫切的問題。這不只是因為完整理解模型仍然遙遠，也因為許多安全問題不必等到那一天才有機會改善。針對特定行為取得的局部理解，就可能幫助我們偵測風險、調查失敗原因，或評估安全措施是否有效。重點不是放棄理解，而是不必等到所有機制都被解開，才開始讓這些理解發揮作用。

往裡面看，到底多提供了什麼？

2026 年的 CHIVE 提供了一個值得記住的提醒。[5] 研究者用反事實 prompt edits 檢查模型行為：如果修改輸入中的某一部分，行為會不會改變？接著測試，提供 Activation Oracle、Natural Language Autoencoder 或 SAE 等讀取工具，能否幫助 predictor 更準確地預測這些實驗結果。在他們的評估設定中，這些工具沒有勝過只閱讀原始 transcript 的 baseline。

這不是對所有 interpretability 方法的否定，也不能直接外推到所有用途。但它指出了一個不能跳過的比較：如果不看模型內部，我們原本就能知道多少？看了之後，又多知道多少？

內部證據可能提供新的假說，也可能只是重新描述外部已經看得見的內容。我們需要把兩者分開。如果一個工具能找到外部紀錄不明顯的失敗原因、提高新案例的預測能力，或支持更可靠的介入，那就是值得累積的成果。相反地，如果它暫時沒有帶來幫助，這也是重要資訊：也許工具需要改善，也許問題不適合它，也許我們使用它的方式還不對。一個逐漸成熟的領域，應該能把這些結果都留下來，而不只留下最漂亮的圖。

接下來，你可以從哪裡加入？

如果你對這個領域有興趣，不必先決定自己要成為哪一種研究者。喜歡實驗的人，可以研究一個穩定的模型行為，或重現既有結果，再改變一個關鍵條件。喜歡數學的人，可以研究架構的表達能力、學習動力學，或哪些條件讓某種機制更容易形成。喜歡工程的人，可以改善 activation extraction、介入工具、資料管理與可重現性，讓別人的研究更容易做對。熟悉心理學、神經科學或特定應用領域的人，也可以帶入更好的問題、測量方式與競爭假說，而不只是把現成工具套進新的 dataset。這些工作並不是互相排斥的。很多有意思的研究，正好出現在它們交會的地方。

第一個 Project

最常見的卡關，是覺得自己還不夠懂。但這個領域變化很快，很難等到「所有方法都學完」才開始。Neel Nanda 的入門建議之一，就是先做一到五天的小型 project，練習提出問題、執行實驗和更新判斷。[6]

第一個 project 可以很小：重現一個結果，換一組 prompts，加入一個 baseline，或檢查某項結論是否依賴特定設定。開始前，先寫下三件事就好：

1. 我想釐清哪一個現象？
2. 除了目前的想法，還有什麼可能解釋它？
3. 下一個實驗，會讓我更相信或更不相信哪一種解釋？

不必一開始就找到新 circuit，也不必強迫自己得到正向結果。發現一個效果無法重現、找出一個容易忽略的 confound，或確認現有工具回答不了這個問題，都可能是有價值的起點。重要的是，實驗做完之後，你比開始之前更清楚下一步該問什麼。

這個系列結束了，但問題才剛開始

回頭看，這三十天並沒有把模型變成一個完全透明、可以放心相信的系統。但我們也不再只能在「模型很神奇」和「它只是預測下一個 token」之間選一個說法。

我們可以提出更具體的問題：它在什麼條件下使用哪些資訊？哪些內部變化會影響行為？我們找到的是一個局部規律、一種有效控制，還是一個能泛化的計算機制？而這些問題，不會只靠某一個工具、某一張 graph，或某一篇論文全部回答。如果這個系列有留下什麼，我希望不是讓你覺得已經拿到一套能解釋所有模型的答案，而是讓你知道：這些系統雖然複雜，仍然可以被一步一步地研究。

謝謝你一起走到這裡。下一次遇到一個讓你困惑的模型行為時，可以先把它記下來，再問：我可以做什麼實驗，才能更清楚它為什麼會這樣？

參考資料與延伸閱讀

[1] Vilas, M. G., Adolfi, F., Poeppel, D., & Roig, G., “Position: An Inner Interpretability Framework for AI Inspired by Lessons from Cognitive Neuroscience”, ICML, 2024. https://arxiv.org/abs/2406.01352

[2] Hu, J. Y.-C., Chen, H.-Y., Lin, P.-C., Su, M., & Liu, H., “In-Context Universal Approximation, Compositional Generalization, and Algorithm Emulation”, ICML, 2026. https://openreview.net/forum?id=ZK0U30zmDY

[3] Sharkey, L., Chughtai, B., Batson, J., et al., “Open Problems in Mechanistic Interpretability”, 2025. https://arxiv.org/abs/2501.16496

[4] Nanda, N., et al., “How Can Interpretability Researchers Help AGI Go Well?” https://neelnanda.io/agenda

[5] Karvonen, A., Ong, E., Kantamneni, S., & Marks, S., “Would This Change Your Answer? Evaluating Explanations of LLM Behavior in the Wild with Counterfactual Experiments”, 2026. https://alignment.anthropic.com/2026/chive/

[6] Nanda, N., “How To Become A Mechanistic Interpretability Researcher”. https://www.neelnanda.io/mechanistic-interpretability/quickstart

[7] Mineault, P., Zanichelli, N., Peng, J. Z., et al., “NeuroAI for AI Safety”, 2024. https://arxiv.org/abs/2411.18526

[8] Motiwala, A., Soldado-Magraner, J., Batista, A. P., Smith, M. A., & Yu, B. M., “Brain–computer interfaces as a causal probe for scientific inquiry”, Trends in Cognitive Sciences, 2026. https://doi.org/10.1016/j.tics.2025.06.017